Bắc Tề thư và Bắc sử không ghi rõ tên thật của Hồ hoàng hậu, chỉ cho biết nguyên quán của bà ở quận An Định, tỉnh Cam Túc . Cha bà là Hồ Diên Chi (胡延之), mẹ là Lư thị, quê ở quận Phạm Dương. Lúc Lư thị có mang, có người đạo sĩ đến cầm theo một chiếc hồ lô, tặng bà và bảo ở phía trong đó có mặt trăng. Sau đó Lư thị sinh ra bà.

Những năm đầu tiên thời Văn Tuyên Đế nhà Bắc Tề, với sắc đẹp vượt trội so với những cô gái đương thời, Hồ thị, vốn thuộc dòng dõi danh gia vọng tộc được gả cho Trường Quảng quận vương Bắc Tề là Cao Đam (hay Cao Trạm), em của Tề đế và trở thành Trường Quảng vương phi[1]. Năm 556, bà sinh ra vương tử Cao Vĩ, tức Hậu Chủ nhà Bắc Tề sau này và sau đó sinh ra người con trai thứ hai là Cao Nghiễm.